Text copied to clipboard!
Pavadinimas
Text copied to clipboard!Hadoop kūrėjas
Aprašymas
Text copied to clipboard!
Ieškome patyrusio Hadoop kūrėjo, kuris prisijungtų prie mūsų duomenų inžinerijos komandos ir padėtų kurti, diegti bei optimizuoti didelio masto duomenų apdorojimo sprendimus. Šiame vaidmenyje jūs būsite atsakingas už Hadoop ekosistemos komponentų, tokių kaip HDFS, MapReduce, Hive, Pig, HBase ir Spark, kūrimą, konfigūravimą ir palaikymą. Jūs glaudžiai bendradarbiausite su duomenų mokslininkais, analitikais ir kitais inžinieriais, kad užtikrintumėte efektyvų duomenų srautų valdymą ir analizę.
Sėkmingas kandidatas turėtų turėti gilias žinias apie paskirstytas sistemas, duomenų srautų apdorojimą realiuoju laiku ir didelių duomenų saugojimo architektūras. Taip pat tikimės, kad turėsite patirties dirbant su debesų kompiuterijos platformomis, tokiomis kaip AWS, Azure ar Google Cloud, bei gebėsite automatizuoti procesus naudojant įrankius kaip Apache Oozie, Airflow ar panašius.
Darbo pobūdis apima ne tik techninį įgyvendinimą, bet ir aktyvų dalyvavimą sprendžiant architektūrinius klausimus, kuriant geriausias praktikas bei užtikrinant sistemų saugumą ir patikimumą. Jūs taip pat prisidėsite prie našumo analizės, klaidų šalinimo ir sistemų tobulinimo.
Jei esate motyvuotas, orientuotas į rezultatus ir norite dirbti su pažangiausiomis technologijomis, kviečiame prisijungti prie mūsų komandos ir prisidėti prie inovatyvių sprendimų kūrimo.
Atsakomybės
Text copied to clipboard!- Kurti ir prižiūrėti Hadoop pagrindu veikiančias duomenų apdorojimo sistemas
- Konfigūruoti ir optimizuoti Hadoop komponentus (HDFS, MapReduce, Hive, Pig, HBase, Spark)
- Bendradarbiauti su duomenų mokslininkais ir analitikais
- Automatizuoti duomenų srautus naudojant Oozie, Airflow ar panašius įrankius
- Užtikrinti sistemų saugumą, patikimumą ir našumą
- Spręsti technines problemas ir atlikti klaidų šalinimą
- Kurti ir įgyvendinti geriausias praktikas
- Prisidėti prie architektūrinių sprendimų kūrimo
- Testuoti ir diegti naujus Hadoop sprendimus
- Rengti techninę dokumentaciją
Reikalavimai
Text copied to clipboard!- Patirtis dirbant su Hadoop ekosistema (HDFS, MapReduce, Hive, Pig, HBase, Spark)
- Geros žinios apie paskirstytas sistemas ir duomenų apdorojimą
- Gebėjimas dirbti su debesų platformomis (AWS, Azure, GCP)
- Patirtis su duomenų srautų valdymo įrankiais (Oozie, Airflow)
- Programavimo įgūdžiai (Java, Scala, Python)
- Gebėjimas analizuoti ir optimizuoti sistemų našumą
- Patirtis su duomenų bazių sistemomis (SQL, NoSQL)
- Gebėjimas dirbti komandoje ir savarankiškai
- Aukštasis išsilavinimas informacinių technologijų ar susijusioje srityje
- Geri bendravimo ir problemų sprendimo įgūdžiai
Galimi interviu klausimai
Text copied to clipboard!- Kiek metų patirties turite dirbdami su Hadoop?
- Kokius Hadoop komponentus esate naudoję praktikoje?
- Ar turite patirties su Spark ar kitomis realaus laiko apdorojimo technologijomis?
- Kaip sprendžiate našumo problemas Hadoop klasteryje?
- Ar esate dirbę su debesų platformomis? Kuria?
- Kokius įrankius naudojate duomenų srautų automatizavimui?
- Kaip užtikrinate duomenų saugumą Hadoop aplinkoje?
- Ar turite patirties su duomenų bazių integracija?
- Kaip sprendžiate klaidas ir atliekate sistemų derinimą?
- Kokie jūsų mėgstamiausi įrankiai ar bibliotekos dirbant su dideliais duomenimis?
